#tabular foundation models

4 篇

Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models

支持编译特征折叠：跨表格基础模型以更低内存获取更多证据

🧭 表格基础模型 · 特征折叠推理优化

Ant Group · Independent Researcher

训练免推理框架 SCFF 将宽表二次特征交互转为线性宽度工作，内存降低且精度提升

📌 工作参考价值（4 点）

面对电商/广告场景的高基数特征宽表（用户/商品/上下文特征可达数千列），可借鉴 SCFF 的「support-ranked + bounded leaves」：先按特征对任务的支持度排序，再分批送入同一冻结编码器，避免全量列成对交叉带来的 Θ(TD²) 显存峰值；线上推理可把峰值显存压到可部署边界，同时保留更多证据，而不是做 hard 特征选择。
将「节省的显存预算重新投回特征证据」用于特征裁剪或特征工程：先设定峰值显存上限，按 support 排序动态保留更多高支持特征，能比固定宽度单批获得明显精度提升；适合需要长期维护且不便重训的大表模型。
训练免、不改骨干的合并推理模式对业务友好：冻结的大规模表格/多模态模型升级时，只改 inference routing 和 message merging，不需要重训或新增参数，降低工程风险；可作为线上 AB 的轻量优化。
有界 working set 和 single contextual prediction 的做法可用于 serverless/批推理：避免 ensemble 多次预测，减少 QPS 成本，同时用 merging 保证单次上下文预测质量。

Other | 2026-09-23 | cs.LG | score 6/10

Attention Quantization for Tabular Foundation Models

表格基础模型的注意力FP8量化

🧭 表格基础模型推理优化 · FP8注意力量化

Prior Labs

开发FP8量化QKV的注意力Triton内核，通过训练/测试量化误差对齐实现1.7倍加速且精度无损

📌 工作参考价值（4 点）

如果业务里用了类似 TabPFN 的 tabular transformer 做点击率、LTV、风控等表格数据建模，推理优化重点应放在 attention 计算上，而不是像 LLM 那样优先做 weight 或 KV cache 量化；QKV 直接量化到 FP8 并用显式 FP8 matmul，可以在注意力热点上拿到 1.5-1.7x 加速。
关键实现 trick：训练和推理时对行（row）的量化误差必须对齐，否则精度会急剧下降。迁移到推荐/广告场景时，如果表格模型在训练和线上服务的数据分布或预处理不同，需要把量化校准纳入训练管线，保证一致性。
动态开启量化内核的策略值得借鉴：在训练行数超过 8192 时才启用 FP8 attention kernel，短序列时用基线 kernel，避免小 batch/短序列下量化开销反而拉低吞吐。
工程上用 Triton kernel 可以针对 attention 做轻量级量化优化，无需重新训练模型；在表格特征建模或 in-context tabular learning 的推理服务中，可以将 FP8 attention 作为无精度损失的加速开关，降低线上延迟和成本。

Other | 2026-09-11 | cs.LG | score 6/10

FP8 attention quantization tabular foundation models Triton kernel inference optimization TabPFN

Target leakage, not model class, explains reported accuracy in survey-based cardiovascular screening: a leakage-tiered audit of glass-box and tabular foundation models

目标泄漏而非模型类别解释心血管筛查报告准确率：玻璃盒与表格基础模型泄漏分层审计

🧭 表格模型评估与目标泄漏审计

Data Science and AI Cluster, XU Exponential University of Applied Sciences, Potsdam, Germany · German University of Digital Science, Potsdam, Germany · College of Engineering, Abu Dhabi University, Abu Dhabi, United Arab Emirates · College of Technological Innovation, Zayed University, Abu Dhabi, United Arab Emirates · Cleveland Clinic Hospital, Abu Dhabi, United Arab Emirates

十个分类器在44万样本审计显示，移除两个诊断后特征使所有模型AUROC下降约0.05并收敛至0.0045带宽，性能差距来自特征泄漏而非模型架构

📌 工作参考价值（4 点）

建立泄漏分层特征审计：把与标签有因果/后诊断关系的特征按泄漏风险分层，观察移除后所有模型 AUC 的同步下降，电商推荐里类似“用户已加购/购买后的行为特征”会带来虚假 recall，需要消融区分特征贡献与模型能力。
玻璃盒模型（EBM）在表格任务上精度可非劣于复杂模型且推理快约两个数量级，适合线上排序/召回候选生成中低延迟且可解释的模块，不必为微小 AUROC 提升引入大模型。
部署前用冻结阈值跨时间/跨人群验证：推荐/广告模型在增量训练前先在下一时段数据上做 transport 检查，避免只看离线 AUC；对性别/年龄等分人群使用 Mondrian conformal 或分组校准修复覆盖率差异。
阈值公平性要在固定业务阈值下审计，而非只看全局 AUC；排序/推荐里对曝光阈值、推送文案的覆盖差异做 subgroup 召回/精确率检查，利用可解释模型的 shape function 编辑实现可审计修复。

Eval | 2026-09-10 | cs.CL | score 6/10

target leakage tabular foundation models glass-box models conformal prediction fairness audit model evaluation

GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

GEAR：生成式扩展与真实锚定的两阶段表格基础模型蒸馏

🧭 表格基础模型蒸馏 · 生成式扩展 ★ 深度解读

Renmin University of China · Ant Digital Technologies, Ant Group · Nanjing University

用生成样本只作为教师查询位置，再用 OOF 真实数据锚定，把表格基础模型压缩为 CPU 可部署的 MLP/树模型

📌 工作参考价值（4 点）

在电商/广告场景用大型上下文依赖模型（TFM/LLM）做 teacher、蒸馏到线上轻量模型时，可复用两阶段协议：先用生成样本只作为 teacher query 点、丢弃生成标签，避免 generator 标签 bias；再回到真实样本做 OOF soft/hard 混合锚定。
OOF teacher prediction 是防自标签泄漏的关键。推荐/广告中如果用 teacher 对训练样本打分再蒸馏，样本本身在 teacher context 里会造成泄漏；按 fold 排除后再 query，能明显提升蒸馏稳定性和泛化。
对 LightGBM/XGBoost 这类树模型，直接蒸馏容易不稳定；但先用合成 teacher soft targets 预训练、再真实锚定，二分类 AUC 能超过 CatBoost。适合在现有在线树模型上引入 foundation model 蒸馏，保持工程兼容性。
生成器质量决定扩展上限：TabDiff/TabPFGen 优于低容量 Copula/CTGAN；若没有合适生成器，优先用基于真实表条件生成的生成器，生成量 K 控制在 10-20 附近，边际收益已经递减。

Training | 2026-08-19 | stat.ML | score 8/10

knowledge distillation tabular foundation models synthetic data out-of-fold MLP GBDT